Исследование набора данных журнала Scientific Reports https://www.nature.com/srep/¶
Содержание
- 1 Введение
- 2 Настройка среды
- 3 Анализ данных
- 3.1 Загрузка данных
- 3.2 Описание признаков
- 3.3 Первичный анализ данных
- 3.4 Визуальный анализ данных
- 3.4.1 Гипотреза 1. Распределение статей по тематикам журналов неравномерно
- 3.4.2 Гипотеза 2. Вероятность публикации дубликата статьи в другом журнале зависит от его тематики
- 3.4.3 Гипотеза 3. Среднее значение количества авторов статьи зависит от тематики журнала
- 3.4.4 Гипотеза 4. Нибольшее число публикаций сосредаточено вокруг некоторого числа популярных тематик
- 3.4.5 Гипотеза 5. Количество публикуемых статей с годами растет, статьи обычно публикуют больше в опредененные месяцы года, и определенные дни недели
- 3.4.6 Гипотеза 6. С течением времени некоторые темы становятся более популярными а некоторые менее популярными
- 3.4.7 Гипотеза 7. Количество времени ожидания рецензии отличается в зависимости от типа журнала
- 3.4.8 Гипотеза 8. В разных странах существует приоритет для изучения определенных видиов науки
- 3.4.9 Гипотеза 9. Привет
- 3.4.10 Распределение публикаций на карие мира
- 3.4.11 Распределение публикаций по городам США, Китая Индии и России
- 3.4.12 Распределение научных направлений по городам
- 3.4.13 Гипотеза 10. Распределение ключевых слов по тематикам
- 3.4.14 Распределение n-gramm заголовков статей по тематикам
- 3.4.15 Распределение популярных слов текста статей
Введение¶
О ресурсе Nature Research¶
Scientific Reports - журнал с откртытым доступом, который публикует оригинальные исследования из различных областей естественных и клинических наук, который предлагает своим авторам высоко уважаемое место для своих исследовваний. Scientific Reports - одиннадцатый по цитируемости журнал в мире, с показателями больше чем 300 000 цитат в 2018 году. Журнал получает широкое внимание в политике и средствах массовой информации.
Цель исследования¶
Цель данного исследования подразумевает получение промежуточных знаний, необходимых для будущего решения более сложных задач, связанных с областью науки о данных в сфере научного знания. Scientific Reports на ряду с другими источниками науныных данных представляет интерес для понимания общей тенденции происходящей в мировой науке. Изучение тематических состввляющих, периодов публикации, авторского состава и других особенностей авторов и их работ, может послужить более правильному пониманию области и вырабатать эффективные шаги для последующего решания различных задача связанных с обработкой естественного языка применительно к научным публикациям.
Настройка среды¶
Подключение библиотек¶
import ast
import calendar
import re
from datetime import datetime
from glob import glob
import cufflinks as cf
import dateparser
import folium
import nltk
import numpy as np
import pandas as pd
import plotly
import plotly.figure_factory as ff
import plotly.graph_objs as go
import plotly.tools as tls
from folium.plugins import MarkerCluster
from IPython.display import HTML, Markdown, clear_output, display
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from plotly.offline import init_notebook_mode, iplot
from py_linq import Enumerable
from tqdm import notebook, tqdm
from sklearn.feature_extraction.text import CountVectorizer
init_notebook_mode(connected=True)
cf.go_offline(connected=True)
cf.set_config_file(world_readable=True, theme='white')
# cf.getThemes()
Настройка библиотек¶
nltk.download('stopwords')
nltk.download('punkt')
Общий код¶
class PlotlyDashboard:
def __init__(self,
rows: int = 1,
cols: int = 1,
print_grid=False,
width=900,
height=500,
title='Dashboard 1',
params: dict = {}):
self.dashboard = None
self.rows = rows
self.cols = cols
self.print_grid = print_grid
self.width = width
self.height = height
self.title = title
self.params = params
self._create()
def _create(self):
self.dashboard = plotly.subplots.make_subplots(rows=self.rows,
cols=self.cols,
print_grid=self.print_grid,
**self.params)
self.dashboard['layout'].update(height=self.height,
width=self.width,
title_text=self.title)
def add_board(self,
trace: any,
row: int = 1,
col: int = 1,
layout_params: dict = {}):
self.dashboard.add_trace(trace=trace, row=row, col=col)
if layout_params != None:
for k, v in layout_params.items():
self.dashboard['layout'][k].update(**v)
return self
def show(self):
self.dashboard.show()
Анализ данных¶
Загрузка данных¶
Обзор данных на диске¶
!ls -lha 'data/'
В качестве набора данных для журнала Scientific Reports представлен файл в формате '.csv' - scientific_reports_metadata.csv, размером 3.6 Гб
Загрузка данных журнала¶
sr = pd.read_csv('data/scientific_reports_metadata.csv')
Обзор части данных
sr.head(3).iloc[0]
Список переменных¶
display(HTML('|| '.join([f'<b>{str(x)}</b>' for x in sr.columns])))
Описание признаков¶
- create_date - дата загрузки статьи
- journal_name - название журнала
- publish_date - дата выхода статьи в журнале
- type - тип статьи в семействе Nature
- title - заголовок статьи
- authors - авторы статьи
- abstract - аннотация статьи
- affilations - аффиляции авторов
- aff_authors - авторы по аффеляции
- subjects - тематика
- biblio - информация по публикации
- text - текст статьи
- file_path - имя файла на диске
- country_name - названия стран извлеченных из аффиляции авторов в порядке перечисления авторов
- country_lat - значения широты стран авторов из аффиляции(в порядке перечисления авторов)
- country_lon - значения долготы стран авторов из аффиляции (в порядке перечисления авторов)
- city_name - названия городов извлеченных из аффиляции авторов (в порядке перечисления авторов)
- city_lat - значения широты городов авторов из аффиляции(в порядке перечисления авторов)
- city_lon - значения долготы городов авторов из аффиляции (в порядке перечисления авторов)
Первичный анализ данных¶
Форма данных¶
sr.shape
Набор данных содержит 105324 статей и 19 признаковых описаний
Дубликаты¶
Полные дубликаты¶
print("Количество полнстью дублирубщих значений: ",
len(sr) - len(sr.drop_duplicates()))
Дублткаты по заголовку¶
print("Количество дубликатов по заголовку: ",
len(sr) - len(sr.drop_duplicates(subset=['title'])))
Количечтво дублирующих заголовков 28925. Выглядит странно. Возможно журнал отнес одну и ту же статью к разным разделам, т.е. статья одновременно относиться к разным тематикам. Проверим это предположение.
# найдем дубликаты
duplicates = sr[sr.duplicated(subset=['title'])]
# возьмем один дубликат, найдем его в основном наборе данных,
# посмотрим на различие в остальных метаданных
display(sr[sr['title'] == duplicates.iloc[0]['title']])
del(duplicates)
Первый пример показал, что существует одна и та же статья, но в разных журналах, и время публикации тоже отличается в одном из журналов. Посчитаем статистически в скольких разных журналах в среднем повторяется каждая неуникальная статья.
duplicates = sr[sr.duplicated(subset=['title'])]
journal_name_stat = []
for dup_title in notebook.tqdm(list(duplicates['title'])):
journal_name_stat.append(len(sr[sr['title'] == dup_title]['journal_name']))
# Считаем средние значения
print('среднее значение повторяемости неуникальной статьи: ',
np.mean(journal_name_stat))
del (journal_name_stat, duplicates, dup_title)
В среднем статья повторияется в 2-х разных журналах. Так как среднее значение больше 2-x, значит бывает что и в 3-х. Интересная особенность журнала - публиковать в 2-х или 3-х разных тематических разделах одну и ту же статью.
Дубликаты по остальным переменным¶
print(
"Дубликаты по многим переменным: ",
len(sr) - len(
sr.drop_duplicates(subset=[
'journal_name', 'title', 'authors', 'abstract', 'affilations',
'aff_authors', 'subjects', 'biblio'
])))
По большинству основных переменных дубликатов нет.
Такие статьи скорее всего нужно оставлять, так как они по видимому относятся к нескольким разделам, что тоже важно при выявлении тематик статьи.
Null-значения¶
pd.DataFrame({"NaN": sr.isna().sum(), 'None': (sr == 'None').sum()})
Некоторые переменные имеют null-значения. Можно в будущем удалить статьи где в этих переменных нет данных.
sr_clearning_vars = [
'text', 'country_name', 'country_lat', 'country_lon', 'city_name',
'city_lat', 'city_lon'
]
Анализ по переменным¶
create_date¶
Посмотрим на переменную обозначающую дату создания записи
sr.create_date[:10]
Переменная показывает дату скачивания статьи скриптом, и никак не связана с отальными данными статьи. Такую переменную можно убрать из дальнейшего анализа.
sr_dropping_vars = ['create_date']
sr_dropping_vars = list(set(sr_dropping_vars))
publish_date, biblio¶
В переменной biblio, есть дата публикации статьи, посмотрим совпадает ли эта дата с датой из переменной publish_date
for col in ['publish_date', 'biblio']:
display(HTML(f"<b>{col}</b>"))
display(sr.iloc[0][col])
переменная biblio, содержит в себе значение переменной из publish date, поэтому наверное эта переменная может быть удалена из переменных для дальнейшего анализа.
sr_dropping_vars.append('publish_date')
sr_dropping_vars = list(set(sr_dropping_vars))
type¶
Переменна type содержит тип статьи. Определим, сколько типов статей есть в данном журнале
sr['type'].value_counts()
Журнал имеет 2 типа статей, второй тип Conference Proceeding, встречается всего 15 раз. Найдем эти 15 статей и посмотрим на их остальные данные.
sr.drop(sr_dropping_vars, axis=1)[sr.drop(sr_dropping_vars, axis=1)['type'] ==
'Conference Proceeding'][:3]
Отличий по типу статьи никаких не выявлено, можно удалить переменну, не удаляя стати принадлежащие к этому типу.
sr_dropping_vars.append('type')
sr_dropping_vars = list(set(sr_dropping_vars))
affilations, country_name, country_lat, country_lon, city_name, city_lat, city_lon¶
В описании написано, что из аффиляции были извлечены переменные: country_name, country_lat, country_lon, city_name, city_lat, city_lon
sr.drop(sr_dropping_vars, axis=1)[[
'affilations', 'country_name', 'country_lat', 'country_lon', 'city_name',
'city_lat', 'city_lon'
]][:3]
Выходит, что теперь можно удалить переменную affilations и пользоваться извлеченными переменными.
sr_dropping_vars.append('affilations')
sr_dropping_vars = list(set(sr_dropping_vars))
authors, aff_authors¶
for col in ['authors', 'aff_authors', 'affilations']:
display(HTML(f"<b>{col}</b>"))
display(ast.literal_eval(sr.iloc[2][col]))
Для примера у нас есть 11 авторов. Они из 4 разных университетов или других организаций, у них есть 4 записи аффиляции. В переменной aff_authors содержится перечисление авторов по афиляции, т.е. какие из этих 11 принадлежат к какой из аффиляций. Выходит, что authors тоже можно удалить, так как она дублирует авторов из aff_authors в неупорядоченном по аффиляции виде. Но по этой колонке можно понять первого автора, который всегда является ведущим. Возможно выясниться интересная закономерность по первому увтору. Оставим эту переменную.
title, abstract, text¶
Переменные title, abstract, text - представляют собой основну информацию по содержимому статьи, их нужно оставить для анализа текстовой составлящей. Причем переменная text - это массив, где содаржиться текст статьи разделенный на подразделы. Какой именно это раздел не понятно, но понятно что это раздел.
sr.drop(sr_dropping_vars, axis=1)[['title', 'abstract', 'text']].head(3)
file_path, journal_name¶
sr.drop(sr_dropping_vars, axis=1)[['journal_name', 'file_path']].head(3)
file_path - путь к статье на диске, не очень полезная переменная для анализа, journal_name - имя журнала в котором размещена статья. Начало имени у всех журналов одинаковое, название можно сократить.
sr_dropping_vars.append('file_path')
sr_dropping_vars = list(set(sr_dropping_vars))
Итоги первичного анализа данных¶
- Набор данных для анализа представлен в виде файла с расширением
.csvс именемscientific_reports_metadata.csv, имеетразмер 3.6 Гб, а также 4 папками именнованными названиями журналов размером...
Представленный набор данных содержит
105324- записи, и19переменных. В ходе процесса загрузки файлов журнала были определены следующие признаки, составляющие набор данных:дата загрузки статьи [create_date] (время загрузки статьи с помощью скрипта)
название журнала [journal_name] (подраздел более общего журнала Scientific Reports)
дата публикации статьи в журнале [publish_date] (т.е. когда статья вошла в список статей журнала)
тип статьи [type] (тип данной статьи, т.е. такой какой она определяется на страничках журнала Nature)
заголовок статьи [title] (оригинальное название статьи), авторы [authors] (перечисление автора и соавторов)
аннотация [abstract] (аннотация статьи)
аффиляция [affilations] (аффиляция каждого из авторов статьи)
авторы по аффиляции [aff_authors] (перечисление авторов в порядке следования аффиляций)
тематика [subjects] (тематика или ключевые темы затронутые в статье помимо основной тематики журнала)
информация по публикации [biblio] (информация по ходу публикационной последовательности в журнале)
текст статьи [text] (массив с подразделами текста статьи)
путь к файлу [file_path] (путь к файлу .pdf статьи на диске)
названия стран [country_name] (название стран авторов по аффиляции)
значения широты страны [country_lat] (значение широты расположения страны на карте по аффиляции)
значение долготы [country_lon] (значения долготы расположения страны на карты по аффиляции)
названия городов [city_name] (название городов извлечённых из аффиляции авторов)
значения широты городов [city_lat] (значение широты расположения городов на карте по аффиляции)
значения долготы городов [city_lon] (значение долготы расположения городов на карте по аффиляции)
- Набор данных
не содержит полностью дублирующих значений, но существует28925 дубликатов статей по заголовкам. Дальнейший анализ показал, что некоторые статьи одновременно принадлежат двум и более тематикам,среднее значение повторяемости статьи 2.12т.е. некоторые статьидублируются для 2 или 3 тематик одновременно.
- Данные содержат
небольшое количество Nullзначений (максимальное значение 258) в некоторых переменных (text, country_name, country_lat, country_lon, city_name, city_lat, city_lat).Объекты имеющие Null значения в этих переменных могут быть удалены.
Анализ отдельных переменных набора показал следующие особенности:
Переменная
create_dateпоказывающая время скачивания статьине связана с другими переменными, может быть использована как показатель среднего времени, затрачиваемого на скачивание статьи при анализе последовательности значений, но данном анализене представляет большого интереса.Значение переменной
publish_date, дублируется в переменной biblio, как одно из значений, иможет быть удаленаиз дальнейшего анализа.Тип статьи, обозначенный переменной
type имеет большой перекос в сторону одного типа, а именно 105309 значений типа Article и 15 значений типа Conference Proceeding.Остальные переменные не имеют никакой связи с данной переменной, что не дает никакого полезного результата для анализа иможет быть удалена как вся переменная, не затрагивая выборки по объектам.Переменные
affilations, country_name (1), country_lat (2) country_lon (3), city_name (4), city_lat (5), city_lon (6) - имеют прямую взаимосвязь, т.е. всепеременные 2-6 являются результатом извлечения данных из переменной 1. Таким образомпеременная 1 может быть удалена.Авторы (authors) и авторы по аффиляции (aff_authors) - похожи друг на друга, так как содержат перечисления авторов в шапке статьи и авторов, расставленных в порядке аффиляции. Но переменнаяauthors может быть использована для анализа страны ведущего автора, поэтому должна быть оставлена в наборе данных.Основные переменные
title, abstract, text - основное содержание статьиобязательнодолжны присутствовать в наборе.Ссылка на .pdf файл статьи
file_path)в данном анализе не представляется важной иможет быть удалена. Переменнаяjournal_name - важная переменная, показывающая основное направление деятельности ученых публикующих свои работы.
Подготовка дата-сета¶
Преобразование дата-сета учитывая итоги первичного анализа данных¶
# Удаление переменных с null-значениями
sr_clearning_vars = [
'text', 'country_name', 'country_lat', 'country_lon', 'city_name',
'city_lat', 'city_lon'
]
sr_tmp = sr.copy()
# Удаление значений с None
for col_for_clear in sr_clearning_vars:
sr_tmp = sr_tmp[sr_tmp[col_for_clear] != 'None']
# Удаление значений с NaN
sr_tmp.dropna(inplace=True)
# Удаление переменных
sr_prepared = sr_tmp.drop(sr_dropping_vars, axis=1)
# Сокращение имени названия журанала
sr_prepared['journal_name'] = sr_prepared['journal_name'].apply(
lambda x: x.split('__')[1])
del (col_for_clear, sr_tmp)
Проверка на Null¶
pd.DataFrame({
"NaN": sr_prepared.isna().sum(),
'None': (sr_prepared == 'None').sum()
})
Null-значений больше нет. Преобразование сделано верно
Итоговые статистики¶
Форма данных¶
sr_prepared.shape
Итоговый дата-сет¶
sr_prepared.head(3)
Визуальный анализ данных¶
Гипотреза 1. Распределение статей по тематикам журналов неравномерно¶
Предполагается, что каждая тема статьи значительно отличается по популярности от других тем. Построим распределение статей из набора данных по разным тематикам (журналам) из общего набора Scientific Reports и визуализируем результаты.
(PlotlyDashboard(
rows=1,
cols=1,
height=500,
width=900,
title='<b>Распределение статей по журналам</b>',
params=dict(
vertical_spacing=0.3,
horizontal_spacing=0.1,
)).add_board(go.Bar(
x=[x for x in list(sr_prepared['journal_name'].value_counts().index)],
y=list(sr_prepared['journal_name'].value_counts().values),
name='Deep Learning',
orientation='v',
),
row=1,
col=1,
layout_params=dict(xaxis1=dict(title_text="Журнал",
automargin=True),
yaxis1=dict(title_text="Статьи",
automargin=False)))).show()
Распределение статей по журналам показывает, что популярность разных тематик неодинакова. Тема биологии (biological_sciences) занимает лидирующее место среди 4 представленных тематик и имеет порядка 39000 статей. В порядке убывания по популярности расположились науки о здоровье (health_sciences), физические науки (physical_sciences) и науки о земле и окружающей среде (earth_and_environmental_sciences), с количеством статей порядка 33000, 22000 и 12000 соответственно.
Гипотеза 2. Вероятность публикации дубликата статьи в другом журнале зависит от его тематики¶
Результаты предварительного анализа показали, что существуют статьи которые дублируются в двух разных журналах с разными тематиками в семействе Scientific Reropts. Посчитаем вероятоности попадания в один из дополнительных журналов при публикации статьи по одной из тематик.
# Имена журналов
j_names = list(sr_prepared.journal_name.unique())
# Заголовки дубликатов статей
journals_stats = {}
for i, j_name in enumerate(j_names): # Проход по журналам
duplicates = sr_prepared[sr_prepared.duplicated(subset=['title'])][[
'title', 'journal_name'
]]
# Ищем дубликаты и фильтруем по журналу
duplicates = duplicates[duplicates['journal_name'] == j_name]
journal_stats_tmp = {}
# Проходим по дубликатам журнала
for a_title, j_name in zip(duplicates['title'],
duplicates['journal_name']):
# Выбираем статьи которые дублируют эту, и откидываем
# дубликат к этому журналу
jn_list = list(sr_prepared[(sr_prepared['title'] == a_title)
& (sr_prepared['journal_name'] != j_name)]
['journal_name'])
for jn in jn_list:
# Пытаемся найти ключ журнала в словаре
if journal_stats_tmp.get(jn, 'Not_Found') == 'Not_Found':
journal_stats_tmp[jn] = 1
else: # Нашли ключ
# увеличиваем значение счетчика
journal_stats_tmp[jn] = (journal_stats_tmp[jn] + 1)
journals_stats[j_name] = {
k: v / np.sum(list(journal_stats_tmp.values())) * 100
for k, v in journal_stats_tmp.items()
}
pd.DataFrame(journals_stats).fillna(0).T.iplot(
kind='bar',
yTitle='Статьи, %',
xTitle='Журнал',
title='Частота публикации дубликатов в других журналах')
del (j_names, journals_stats, i, j_name, duplicates, journal_stats_tmp,
a_title, jn_list, jn)
- Предварительный анализ набора данных показал, что
статьи дублируются по заголовкам, что привело к выводу, что редакция журнала публикует дубликаты в нескольких разделах. Визуализация результатов определила, чтовероятность печати дубликата статьи в другом журнале составляет:Для темы earth_and_environmental_sciences - 100% статей публикуются так же и в журнале biological_sciencesДля темы health_sciences - вероятность публикации дубликата составляет 25% для biological_sciences, 65% для earth_and_environmental_sciences, 9% для physical_sciencesДля темы physical_sciences - вероятность публикации дубликата составляет 18% для biological_sciences, 36% для earth_and_environmental_sciences, 44% для health_sciencesДля темы biological_sciences - вероятность публикации составляет 18% для earth_and_environmental_sciences, 17% для physical_sciences, 64% для health_sciences
Гипотеза 3. Среднее значение количества авторов статьи зависит от тематики журнала¶
Так как специфики работы над научными задачами различны для каждой из областей знаний, в среде ученых складываются определенные подходы к решению задач. Они могут заключаться к привлечению других ученых которые вместе работают над публикациями. Предполагается, что для каждой из областей
sr_prepared_tmp = sr_prepared[['authors', 'journal_name']].copy()
sr_prepared_tmp['author_count'] = sr_prepared_tmp['authors'].apply(
lambda x: len(ast.literal_eval(x)))
# Имена журналов
j_names = list(sr_prepared.journal_name.unique())
journals_stats = {}
for j_name in j_names:
journals_stats[j_name] = sr_prepared_tmp[sr_prepared_tmp['journal_name'] ==
j_name]['author_count'].mean()
pd.Series(journals_stats).iplot(
kind='bar',
yTitle='Авторы',
xTitle='Журнал',
title='Распределение журналов по среднему количеству авторов')
del(sr_prepared_tmp, j_name, j_names)
Больше всего авторов в среднем на каждую статью приходиться в журналах связанных со здоровьем и медициной и меньше в журналах связанных с естестенными науками.
Гипотеза 4. Нибольшее число публикаций сосредаточено вокруг некоторого числа популярных тематик¶
Построим распределение статей по популярным тематикам в процентах
subject_distrib = pd.Series(
Enumerable(sr_prepared['subjects'].apply(lambda x: ast.literal_eval(x))).
select_many(lambda x: x).to_list()).value_counts()
for j_count, j_title in zip([len(subject_distrib), 50], [
'Распределение статей по тематикам (все тематики)',
'Распределение статей по тематикам (первые 50)'
]):
(PlotlyDashboard(rows=1,
cols=1,
height=500,
width=900,
title=j_title,
params=dict(
vertical_spacing=0.3,
horizontal_spacing=0.1,
)).add_board(go.Bar(
x=subject_distrib.index[:j_count],
y=(subject_distrib.values /
np.sum(subject_distrib.values) * 100)[:j_count],
name='Deep Learning',
orientation='v',
),
row=1,
col=1,
layout_params=dict(
xaxis1=dict(title_text="тематика",
automargin=True),
yaxis1=dict(
title_text="количество статей",
automargin=False)))).show()
Из распределения видно, что нет никакой доминирующей тематики, самая популярная тематика покрывает чуть больше 1% работ. Эти тематики судя по всему влются ключевыми словами.
Гипотеза 5. Количество публикуемых статей с годами растет, статьи обычно публикуют больше в опредененные месяцы года, и определенные дни недели¶
Построим распределение количества статей по разным годам, месяцам и дням недели
# сделаем копию набора данных для манипуляций
sr_prepared_tmp = sr_prepared.copy()
# Выделим в отдельные переменные дату получеия статьи, принятия в печать,
# и публикации в журнале
# (pos - позиция в массиве, name - название столбца который будет создан,
# length - длина для отрезания слова до даты)
action_type = ['received', 'accepted', 'published']
for pos, name, length in zip([0, 1, 2], action_type, [8, 8, 9]):
sr_prepared_tmp[name] = sr_prepared_tmp['biblio'].apply(
lambda x: ast.literal_eval(x)[pos][length:])
def _get_years_stat(df: pd.DataFrame, data_col: str):
"""Возвращает год отсортированные по убыванию"""
return df[data_col].apply(
lambda x: dateparser.parse(x).year).value_counts().sort_index()
def _get_month_stat(df: pd.DataFrame, data_col: str):
months = df[data_col].apply(
lambda x: dateparser.parse(x).month).value_counts().sort_index()
return pd.Series(data=months.values,
index=[calendar.month_name[x] for x in months.index])
def _get_weekday_stat(df: pd.DataFrame, data_col: str):
weekdays = df[data_col].apply(
lambda x: dateparser.parse(x).weekday()).value_counts().sort_index()
wd_name_arr = []
for wd in weekdays.index:
wd_name = {
i: weekday_name
for i, weekday_name in enumerate(list(calendar.day_name))
}.get(wd)
wd_name_arr.append(wd_name)
return pd.Series(data=weekdays.values, index=wd_name_arr)
for act_type, graph_title in zip(
action_type,
['отправки', 'принятия в печать', 'публикации в журнале']):
dashboard = PlotlyDashboard(
rows=1,
cols=3,
height=400,
width=900,
title=f'Распределение статей по времени {graph_title}',
params=dict(
subplot_titles=[
'Распределение по годам', 'Распределение по месяцам',
'Распределение по дням недели'
],
vertical_spacing=0.1,
horizontal_spacing=0.1,
))
for pos, func, xaxis, yaxis, xaxis_title in zip(
[1, 2, 3], [_get_years_stat, _get_month_stat, _get_weekday_stat],
['xaxis1', 'xaxis2', 'xaxis3'], ['yaxis1', 'yaxis2', 'yaxis3'],
['год', 'месяц', 'день']):
res = func(sr_prepared_tmp, act_type)
dashboard.add_board(go.Scatter(x=res.index,
y=res.values,
name='',
orientation='v',
mode='lines+markers',
line=dict(width=1),
marker=dict(line=dict(width=1),
size=10,
color='gray'),
showlegend=False),
row=1,
col=pos,
layout_params={
xaxis:
dict(title_text=xaxis_title, automargin=True),
yaxis:
dict(title_text="статьи", automargin=False)
})
dashboard.show()
del (sr_prepared_tmp, action_type, pos, name, length, act_type, graph_title,
dashboard, func, xaxis, yaxis, xaxis_title, res)
Гипотеза 6. С течением времени некоторые темы становятся более популярными а некоторые менее популярными¶
Построим распределение тематик в зависимости от года печати. Посмотрим как меняется популярность тематик со временем
# сделаем копию набора данных для манипуляций
sr_prepared_tmp = sr_prepared.copy()
# Выделим в отдельные переменные дату получеия статьи
sr_prepared_tmp['received'] = sr_prepared_tmp['biblio'].apply(
lambda x: ast.literal_eval(x)[0][8:])
# Имена журналов
j_names = list(sr_prepared.journal_name.unique())
def _get_years_stat(df: pd.DataFrame, data_col: str):
"""Возвращает год отсортированный по убыванию"""
return df[data_col].apply(
lambda x: dateparser.parse(x).year).value_counts().sort_index()
df = []
for j_name in j_names:
res = _get_years_stat(
sr_prepared_tmp[sr_prepared_tmp['journal_name'] == j_name],
'received')
df.append(pd.DataFrame({j_name: res.values}, index=res.index))
pd.concat(df,
axis=1).fillna(0).iplot(yTitle='Статьи',
xTitle='Год',
title='Распределение получения по журналам',
mode='lines+markers')
del (sr_prepared_tmp, j_names, df, j_name, res)
Результат показывает, что почти все журналы снчала набирают популярность, а потом начинуют ее терять.
Гипотеза 7. Количество времени ожидания рецензии отличается в зависимости от типа журнала¶
Построим график среднего времени ожидания ответа от рецензента в зависимости от года по каждому журналу
# сделаем копию набора данных для манипуляций
sr_prepared_tmp = sr_prepared.copy()
# Выделим в отдельные переменные дату получеия статьи, принятия в печать,
# и публикации в журнале
# (pos - позиция в массиве, name - название столбца который будет создан,
# length - длина для отрезания слова до даты)
action_type = ['received', 'accepted', 'published']
for pos, name, length in zip([0, 1, 2], action_type, [8, 8, 9]):
sr_prepared_tmp[name] = sr_prepared_tmp['biblio'].apply(
lambda x: ast.literal_eval(x)[pos][length:])
#tqdm.pandas(desc="my bar!")
# считаем сколько дней проходит от получения статьи редакцией до принятия в печать
sr_prepared_tmp['waiting_accepted_days'] = (
sr_prepared_tmp['accepted'].apply(lambda x: dateparser.parse(x)) -
sr_prepared_tmp['received'].apply(lambda x: dateparser.parse(x))
).apply(lambda x: x.days)
# Извлечение года публикации
sr_prepared_tmp['accepted_year'] = sr_prepared_tmp['accepted'].apply(
lambda x: int(dateparser.parse(x).year))
# Имена журналов
j_names = list(sr_prepared.journal_name.unique())
df = []
for j_name in j_names:
summary = sr_prepared_tmp[sr_prepared_tmp['journal_name'] == j_name][[
'accepted_year', 'waiting_accepted_days'
]].groupby('accepted_year').mean()
summary.index = [int(x) for x in summary.index]
summary.rename(columns={'waiting_accepted_days': j_name}, inplace=True)
df.append(summary)
pd.concat(df,
axis=1).fillna(0).iplot(yTitle='Дни',
xTitle='Год',
title='Среднее время рецензирования статьи',
mode='lines+markers')
del (sr_prepared_tmp, action_type, pos, name, length, j_names, df, j_name,
summary)
Результаты показывают что с каждым голом практически равномерно растет время ожидания принятия статьи, кроме 2016 года, когда время немного сократилось. Если судить по рузультатам полученным выше, то можео заменить что 2016 год был самым продуктивным на количество присланных работ. Можно сделать вывод, что время рецензирования сократили из-за большого количества присланных статей. Но это только предположение. Есть интересный момент, что 2011 и 2012 году два журнала имели среднее время принятия в печать - 0. Извлечение данных за этот год показало, что для этих журналов в этих годах не было статей.
Гипотеза 8. В разных странах существует приоритет для изучения определенных видиов науки¶
Распределение авторов публикаций по странам¶
# Удалим статьи где из аффиляции не смогла извлечься страна
pd.Series(x for x in Enumerable(sr_prepared['country_name'].apply(
lambda x: x.split('###'))).select_many(lambda x: x).to_list()
if x != 'None').value_counts()[:25].iplot(
kind='bar',
yTitle='Статьи',
xTitle='Страна',
title='Распределение авторов по странам')
Китайских ученых больше всего учавствует в публикациях по данному журналу. Второе место занимает США, третье Япония.Россия занимает 19 строчку в рейтингах популярности журнала. В 1 статье может быть несколько соавторов, что может исказить рейтинг принадлежности к стране публикации. Например в одной публикации будет 3 автора из Китая и 1 из России, но результат будет засчитал в сторону Китая, так как в публикации учавствовало 3 автора. Это сравнение не полностью справедливо. Посчитаем только 1 автора из каждой страны, тогда получим правильное участие всех стран в публикациях.
# Удалим статьи где из аффиляции не смогла извлечься страна
pd.Series(x for x in Enumerable(sr_prepared['country_name'].apply(
lambda x: np.unique(x.split('###')))).select_many(lambda x: x).to_list()
if x != 'None').value_counts()[:25].iplot(
kind='bar',
yTitle='Статьи',
xTitle='Страна',
title='Распределение статей по странам')
Теперь видим, что Китай перешел на второе место, США - на первое. Россия стала ближе на 1 пункт переместившись на 18 место. Здесь можно сделата вывод, что Китай используети в своих работах больше в среднем соавторов чем США, Россия и другие страны.
Распределение стран по областям наук¶
# копия набора, для манипуляций над данными
sr_prepared_tmp = sr_prepared.copy()
# страны принимающие участие в публикациях
sr_prepared_tmp['countries_participant'] = sr_prepared_tmp[
'country_name'].apply(lambda x: np.unique(x.split('###')))
# список направлений журналов
j_names = list(sr_prepared.journal_name.unique())
dfs = []
for j_name in j_names: # Проход по журналам
# считаем количество стран, которые используют технологии
res = pd.Series(
Enumerable(sr_prepared_tmp[sr_prepared_tmp['journal_name'] == j_name]
['countries_participant']).select_many(
lambda x: x).to_list()).value_counts()
dfs.append(pd.DataFrame({j_name: res.values}, index=res.index))
# выбираем наиболее интересные страны
pd.concat(dfs, axis=1, sort=False).fillna(0).loc[[
'China', 'United States of America',
'United Kingdom of Great Britain and Northern Ireland', 'Germany',
'France', 'Japan', 'Russian Federation', 'Italy', 'India', 'Sweden',
'Netherlands', 'Brazil', 'Korea, Republic of', 'South Africa', 'Czechia',
'Israel'
]].iplot(kind='bar',
yTitle='Статьи',
xTitle='Страна',
title="Распределение стран по приоритетным областям наук")
del (sr_prepared_tmp, j_names, dfs, j_name, res)
Почти все страны главным приоритетом выбрали науки о здоровье и биологию, физические науки находятся ниже по рейтингу. Росиия отличается в обратную сторону, биологии и наукам о здоровье уделяется меньше времени чем физическим наукам.
Гипотеза 9. Привет¶
Распределение публикаций на карие мира¶
lat = [
x for x in pd.Series(
Enumerable(sr_prepared['country_lat'].apply(lambda x: x.split('###'))).
select_many(lambda x: x).to_list()).values if x != 'None'
]
lon = [
x for x in pd.Series(
Enumerable(sr_prepared['country_lon'].apply(lambda x: x.split('###'))).
select_many(lambda x: x).to_list()).values if x != 'None'
]
latitude = pd.Series(lat).value_counts()
longitude = pd.Series(lon).value_counts()
_map = folium.Map(location=[26.537737, 17.275546],
tiles='cartodbpositron',
zoom_start=2,
zoom_control=False)
folium.plugins.ScrollZoomToggler().add_to(_map)
marker_cluster = MarkerCluster().add_to(_map)
for _lat, _lon in zip(latitude.index, longitude.index):
folium.Marker(location=[_lat, _lon],
icon=folium.Icon(icon=None, color='lightgray')).add_to(_map)
display(_map)
del (lat, lon, latitude, longitude, _map, marker_cluster, _lat, _lon)
На карте можно видеть, что авторы научных работ данного журнала есть практически со всех стран мира.
Распределение публикаций по городам США, Китая Индии и России¶
for county_name, country_coord, zoom in zip([
'United States of America',
'China',
'India',
'Russian Federation',
], [[39.942689, -97.448506], [34.435388, 106.189923], [22.537717, 79.209629],
[63.020506, 93.065389]], [4, 4, 4, 3]):
display(HTML(f'<h3>{county_name}</h3>'))
cities_coord_arr = []
for countries, cities, lats, lons in zip(
sr_prepared['country_name'].apply(lambda x: x.split('###')),
sr_prepared['city_name'].apply(lambda x: x.split('###')),
sr_prepared['city_lat'].apply(lambda x: x.split('###')),
sr_prepared['city_lon'].apply(lambda x: x.split('###'))):
if county_name in countries: # Если хоть одна страна есть в списке
# Извлекаем индексы страны
country_indexes = [
i for i, x in enumerate(countries) if x == county_name
]
for country_index in country_indexes:
if lats[country_index] != 'None' and lons[
country_index] != 'None':
cities_coord_arr.append(
[lats[country_index], lons[country_index]])
_map = folium.Map(
location=country_coord,
# tiles='mapquestopen',
zoom_start=zoom,
zoom_control=False)
folium.TileLayer('Stamen Toner').add_to(_map)
folium.plugins.ScrollZoomToggler().add_to(_map)
folium.plugins.Fullscreen().add_to(_map)
marker_cluster = MarkerCluster().add_to(_map)
for loc in list(pd.Series(cities_coord_arr).value_counts().index):
folium.Marker(location=[loc[0], loc[1]],
icon=folium.Icon(icon='university',
prefix='fa',
color='blue')).add_to(_map)
display(_map)
del (country_coord, zoom, cities_coord_arr, county_name, countries,
country_indexes, country_index, _map, marker_cluster, loc)
Результаты визуализации показывают, что.
Распределение научных направлений по городам¶
country_names_arr = [
'United States of America',
'China',
'India',
'Russian Federation',
]
for county_name, country_coord, zoom in zip(
country_names_arr, [[39.942689, -97.448506], [34.435388, 106.189923],
[22.537717, 79.209629], [63.020506, 93.065389]],
[4, 4, 4, 3]):
display(HTML(f'<h3>{county_name}</h3>'))
cities_coord_arr = [] # координаты городов
journal_names_arr = [] # названия журналов
for countries, cities, lats, lons, journal in zip(
sr_prepared['country_name'].apply(lambda x: x.split('###')),
sr_prepared['city_name'].apply(lambda x: x.split('###')),
sr_prepared['city_lat'].apply(lambda x: x.split('###')),
sr_prepared['city_lon'].apply(lambda x: x.split('###')),
sr_prepared['journal_name']):
if county_name in countries: # Если хоть одна страна есть в списке
# Извлекаем индексы страны
country_indexes = [
i for i, x in enumerate(countries) if x == county_name
]
for country_index in country_indexes:
# Проверяем чтобы не было пустых кординат,
# и имена городов не назывались как страны
if lats[country_index] != 'None' and lons[
country_index] != 'None' and cities[
country_index] not in country_names_arr + [
'Russia'
]:
cities_coord_arr.append(
[lats[country_index], lons[country_index]])
journal_names_arr.append(journal)
_map = folium.Map(
location=country_coord,
#tiles='mapquestopen',
zoom_start=zoom,
zoom_control=False)
folium.TileLayer('cartodbpositron').add_to(_map)
folium.plugins.ScrollZoomToggler().add_to(_map)
folium.plugins.Fullscreen().add_to(_map)
# Карта цветов для области
color_map = {
'biological_sciences': 'orange',
'physical_sciences': 'lightblue',
'health_sciences': 'purple',
'earth_and_environmental_sciences': 'darkgreen'
}
# соединяем координаты городов с их научными направлениями,
# считаем количество научных работ по направлению для города
science_result = pd.Series([
f'{str(k)}###{str(v)}'
for k, v in zip(journal_names_arr, cities_coord_arr)
]).value_counts()
# Переведем в проценты
science_result = science_result / science_result.sum() * 100
# Для того чтобы не было слишком много объектов на карте,
# отрежем 15% от конца самых незначительных
science_result = science_result[:len(science_result) -
int(len(science_result) * 0.15)]
# Проходим по названию и направлению, и размеру направления
for area_name_loc, size in zip(science_result.index,
science_result.values):
# Извлекаем координаты
coord_city = ast.literal_eval(area_name_loc.split('###')[1])
# Извлекаем область
area = area_name_loc.split('###')[0]
folium.CircleMarker(coord_city,
radius=size * 5,
color=color_map[area],
fill_color=color_map[area],
fill=True,
fill_opacity=0.7).add_to(_map)
display(_map)
del (country_names_arr, county_name, country_coord, zoom, cities_coord_arr,
journal_names_arr, countries, cities, lats, lons, journal,
country_indexes, country_index, _map, color_map, science_result,
area_name_loc, size, coord_city, area)
Гипотеза 10. Распределение ключевых слов по тематикам¶
journal_names = list(sr_prepared['journal_name'].unique())
dashboard = PlotlyDashboard(rows=2,
cols=2,
height=800,
width=900,
title='Распределение ключевых слов по тематикам',
params=dict(vertical_spacing=0.53,
horizontal_spacing=0.15,
subplot_titles=journal_names))
for journal_name, row, col, xaxis, yaxis in zip(
journal_names, [1, 1, 2, 2], [1, 2, 1, 2],
['xaxis1', 'xaxis2', 'xaxis3', 'xaxis4'],
['yaxis1', 'yaxis2', 'yaxis3', 'yaxis4']):
journal_keys = pd.Series(
Enumerable(
sr_prepared[sr_prepared['journal_name'] == journal_name]
['subjects']).select(lambda x: ast.literal_eval(x)).select_many(
lambda x: x).to_list()).value_counts()[:20]
dashboard.add_board(go.Scatter(x=journal_keys.index,
y=journal_keys.values,
mode='lines+markers',
line=dict(width=0.5),
marker=dict(line=dict(width=0.1), size=7),
showlegend=False),
row=row,
col=col,
layout_params={
xaxis:
dict(title_text="Ключевые слова", automargin=True),
yaxis:
dict(title_text="Статьи", automargin=False)
})
dashboard.show()
На диаграмме можно увидеть, что ключевые слова (subjects) распределенные по популярности определенные для статей, соответствуют тематикам каждого из 4-х журналов. Посмотрим на распределение слов из заголовков статей, можно ли их сопоставить с ключевыми словами.
Распределение n-gramm заголовков статей по тематикам¶
def _n_gram_value_counts(text_arr, ngram_range=(1, 1), stop_words='english'):
cv = CountVectorizer(ngram_range=ngram_range, stop_words=stop_words)
transformed = cv.fit_transform(text_arr)
return pd.Series(
data=list(np.array(transformed.sum(axis=0))[0]),
index=list(pd.Series(
cv.vocabulary_).sort_values().index)).sort_values(ascending=False)
# создание списка стоп-слов
stop_word_list = stopwords.words('english')
for article_variant, graph_title in zip(['title', 'full_text'],
['заголовков', 'полного текста']):
journal_names = list(sr_prepared['journal_name'].unique())
for n_gram, dashboard_title, v_space, xtitle in zip([(1, 1), (2, 2)],
['слов', 'биграмм'],
[0.3, 0.53],
['Слова', 'Биграммы']):
dashboard = PlotlyDashboard(
rows=2,
cols=2,
height=700,
width=900,
title=
f'<b>Распределение {dashboard_title} {graph_title} статей по тематикам</b>',
params=dict(vertical_spacing=v_space,
horizontal_spacing=0.15,
subplot_titles=journal_names))
for journal_name, row, col, xaxis, yaxis in zip(
journal_names, [1, 1, 2, 2], [1, 2, 1, 2],
['xaxis1', 'xaxis2', 'xaxis3', 'xaxis4'],
['yaxis1', 'yaxis2', 'yaxis3', 'yaxis4']):
if article_variant == 'title':
# Заголовки статей
text = sr_prepared[sr_prepared['journal_name'] ==
journal_name]['title']
else:
# Полный текст статей
text = Enumerable(
sr_prepared[sr_prepared['journal_name'] == journal_name]
['text'].apply(lambda x: ast.literal_eval(x))).select_many(
lambda x: x).to_list()
# Извлечение n-грамм и подсчет статистики встречаемости
journal_keys = _n_gram_value_counts(text, n_gram,
stop_word_list)[:20]
dashboard.add_board(go.Scatter(x=journal_keys.index,
y=journal_keys.values,
mode='lines+markers',
line=dict(width=0.5),
marker=dict(line=dict(width=0.1),
size=7),
showlegend=False),
row=row,
col=col,
layout_params={
xaxis:
dict(title_text=xtitle, automargin=True),
yaxis:
dict(title_text="Количество",
automargin=False)
})
dashboard.show()
def _n_gram_idf(text_arr, ngram_range=(1, 1), stop_words='english'):
tfidf = TfidfVectorizer(ngram_range=ngram_range, stop_words=stop_words)
transformed = tfidf.fit_transform(text_arr)
return pd.Series(
data=list(np.array(transformed.sum(axis=0))[0]),
index=list(pd.Series(
tfidf.vocabulary_).sort_values().index)).sort_values(
ascending=False)
_n_gram_idf(
Enumerable(sr_prepared[sr_prepared['journal_name'] ==
'earth_and_environmental_sciences'][:100]
['text'].apply(lambda x: ast.literal_eval(x))).select_many(
lambda x: x).to_list(), (2, 2))[:25].iplot(kind='bar')
_n_gram_idf([
'мама мыла раму', 'раму мыла мама', 'привет мама как дела',
'мама думала что дела нормально'
]).iplot(kind='bar')
transformed = tfidf.fit_transform([
'мама мыла раму', 'раму мыла мама', 'привет мама как дела',
'мама думала что дела нормально'
])
list(np.array(transformed.mean(axis=0))[0])
list(tfidf.idf_)
pd.Series(data=transformed.toarray().mean(axis=0)) pd.Series(tfidf.vocabulary_).sort_values()
Распределение популярных слов текста статей¶
# # Удаление спец-символов
# submbols_removed = []
# for ww in list(article_titles):
# for k in ww.split("\n"):
# submbols_removed.append(re.sub(r"[^a-zA-Z0-9]+", ' ', k))
# # Приведение к нижнему регистру
# lower_arr = []
# for ww in submbols_removed:
# lower_arr.append(ww.lower())
# # Токенизация
# tokenized_tilts = pd.Series(lower_arr).apply(lambda x: word_tokenize(x))
# # Удаление стоп-слов, удаление символов
# prepared_words = [
# w for w in [
# z.lower() for z in Enumerable(tokenized_tilts).select_many(
# lambda x: x).to_list()
# ] if w not in stop_word_list
# ]
from nltk import bigrams
from nltk import FreqDist
bgms = bigrams(sr_prepared[
sr_prepared['journal_name'] ==
'earth_and_environmental_sciences']['title'])
FreqDist(bgms)
import scipy
vectorizer = CountVectorizer(ngram_range=(2, 2))
scipy.sparse.csr_matrix(vectorizer.fit_transform(sr_prepared[
sr_prepared['journal_name'] ==
'earth_and_environmental_sciences']['title'])).sum(axis=0)
def _n_gram_value_counts(text_arr, ngram_range=(1, 1), stop_words='english'):
cv = CountVectorizer(ngram_range=ngram_range, stop_words=stop_words)
transformed = cv.fit_transform(text_arr)
return pd.Series(
data=list(np.array(transformed.sum(axis=0))[0]),
index=list(pd.Series(
cv.vocabulary_).sort_values().index)).sort_values(ascending=False)
_n_gram_value_counts([
'hello world mama papa yana dasha',
'yana dasha mila vasya yana dasha mila vasya vasya vasya vasya'
], (2, 2)).iplot(kind='bar')
cv = CountVectorizer(ngram_range=(2, 2))
transformed = cv.fit_transform([
'hello world mama papa yana dasha',
'yana dasha mila vasya yana dasha mila vasya'
])
transformed.toarray()
list(np.array(transformed.sum(axis=0))[0])
pd.Series(cv.vocabulary_).sort_values()
pd.Series(vectorizer.vocabulary_).sort_values()
pd.Series(
Enumerable(
sr_prepared[sr_prepared['journal_name'] ==
'earth_and_environmental_sciences']
['subjects']).select(lambda x: ast.literal_eval(x)).select_many(
lambda x: x).to_list()).value_counts()
sr_prepared[sr_prepared['journal_name'] ==
'earth_and_environmental_sciences']
pd.Series(
Enumerable(
sr_prepared[sr_prepared['journal_name'] ==
'earth_and_environmental_sciences']
['subjects']).select(lambda x: ast.literal_eval(x)).select_many(
lambda x: x).to_list()).value_counts()[:25]
sr_prepared.head(3)
pd.DataFrame({
'geo': [10, 8, 6],
'meo': [5, 8, 6],
'zeo': [2, 1, 17]
},
index=[2001, 2002, 2003]).iplot(kind='bar')